1098. Орлов А.И. Многообразие моделей регрессионного анализа (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 2018. Т.84. №5. С. 63-73. 

МНОГООБРАЗИЕ МОДЕЛЕЙ РЕГРЕССИОННОГО АНАЛИЗА
(обобщающая статья)

А.И. Орлов

	Нужны работы по упорядочению накопленных научных результатов. Важно единообразное понимание терминов. Необходимо знание фактов и тенденций развития. Статья посвящена обсуждению этих вопросов на примере научной области "модели регрессионного анализа (восстановления зависимостей)" с целью сформировать единую методологическую базу для обсуждения различных частных вопросов этой области. Рассмотрены четыре метода восстановления зависимости. Выделены модели метода наименьших квадратов с детерминированной независимой переменной. Согласно новой парадигме прикладной статистики следует считать распределение отклонений (погрешностей, невязок) произвольным, с одним ограничением - для получения предельных распределений оценок параметров и зависимости целесообразно предположить выполнение условий центральной предельной теоремы. Второй основной тип вероятностно-статистических моделей метода наименьших квадратов основан на выборке случайных векторов. Зависимость является непараметрической и распределение двумерного вектора - произвольным. Об оценке дисперсии независимой переменной можно говорить только в модели на основе выборки случайных векторов, равно как и о коэффициенте детерминации как критерии качества модели. Обсуждается сглаживание временных рядов. Рассмотрены методы восстановления зависимостей в пространствах общей природы. Показано, что предельное распределение естественной оценки размерности модели является геометрическим, а построение информативного подмножества признаков наталкивается на эффект "вздувания коэффициентов корреляции". Обсуждаются различные подходы к регрессионному анализ интервальных данных, констатируется уход в прошлое подхода т.н. конфлюэнтного анализа. Анализ многообразия моделей регрессионного анализа приводит к выводу, что не существует единой "стандартной модели". Критический разбор устоявшихся взглядов необходим для квалифицированного развития и применения математических методов исследования, в частности, для перехода на современную парадигму прикладной статистики.

	Ключевые слова: математическая статистика, новая парадигма прикладной статистики, регрессионный анализ, метол наименьших квадратов, непараметрическая статистика, нечисловая статистика, оценка размерности модели, статистика интервальных данных

	За столетия разработки математических методов исследования накоплен огромный массив научных результатов. Так, еще 30 лет назад мы оценивали [1] число статей и книг в этой области как 106, в том числе актуальных для современных исследователей - как 105. Сколькими статьями и книгами может овладеть один человек? Для большинства - 103, для отдельных наиболее продвинутых лиц - 104, что на один-два порядка меньше, чем объем накопленных научных результатов.
	Следовательно, необходимы работы по упорядочению накопленных научных результатов. Для успешной работы важно единообразное понимание терминов. Необходимо знание фактов и тенденций развития. Обсудим эти вопросы на примере научной области "модели регрессионного анализа (восстановления зависимостей)" с целью сформировать единую методологическую базу для обсуждения различных частных вопросов этой области.

	1. Четыре метода восстановления зависимости
	В простейшем случае есть одна независимая количественная переменная t и одна зависимая количественная переменная x. Требуется указать (как говорят, восстановить) функцию, описывающую зависимость x от t.
	В простейшем случае принимают, что эта зависимость - линейная: x(t) = at + b. Исходные данные - набор n двумерных векторов ж Предполагается, что имеются отклонения от линейности, т.е. xi = аti + b + ei, где ei, i = 1, 2, ..., n, - погрешности (отклонения, невязки). Необходимо оценить неизвестные параметры a и b.
	Как известно, оценивание можно провести разными способами. Есть графический метод. Он состоит в том, что точки (ti, xi), i = 1, 2, ..., n, надо нанести на плоскость и провести с помощью линейки прямую линию, наилучшим образом приближающую эти точки (можно использовать миллиметровую бумагу или опцию "Корреляционное поле" в программном продукте для работы с электронными таблицами EXCEL). Недостатки - субъективизм и невозможность указать точность оценивания зависимости и ее параметров.
	Чаще используют расчетные методы. Основная идея состоит в том, чтобы минимизировать одновременно все отклонения xi - аti - b. Реализовать эту идею можно различными способами. В методе наименьших модулей минимизируют по a и b функцию
.
В методе минимакса в качестве показателя суммарного отклонения вместо суммы модулей минимизируют максимальное отклонение
.
В 1794 г. К. Гаусс разработал метод наименьших квадратов, основанный на минимизации
.
	Метод наименьших квадратов выглядит менее естественным, чем метод наименьших квадратов и метод минимакса. Действительно, почему квадрат, а не другая степень? Однако используют и применяют именно метод наименьших квадратов, а остальные два метода - маргинальные, ими занимаются отдельные энтузиасты. Почему в конкурентной борьбе победил именно метод наименьших квадратов? По нашему мнению, дело в том, что оценки параметров a и b метода наименьших квадратов, полученные в результате минимизации f(a, b), задаются элементарными формулами (см., например, [2]), в то время как оценки параметров для двух других методов могут быть найдены лишь с помощью численных алгоритмов [3]. Причина сказанного в том, что для минимизации f(a, b) можно использовать частные производные этой функции по параметрам a и b, в то время как g(a, b) и h(a, b) не дифференцируемы из-за наличия в них модуля. Наличие точных формул не только облегчает вычисление оценок метода наименьших квадратов, но и позволяет глубоко изучить свойства этих оценок.
	В проведенных рассуждениях не было никаких вероятностно-статистических моделей. Действительно, метод наименьших квадратов и другие ранее упомянутые методы можно рассматривать в рамках теории приближений. Однако, если целесообразно перенести выводы с набора точек (ti, xi), i = 1, 2, ..., n, на более широкую совокупность, то необходимо ввести вероятностно-статистические модели, нацеленные на переход от выборки к генеральной совокупности.
	Рассмотрим два основных типа вероятностно-статистических моделей. Имеется масса литературных источников, посвященных моделям регрессионного анализа (восстановления зависимостей), поэтому даем ссылки лишь на те публикации, которые необходимы по ходу изложения.

	2. Модели с детерминированной независимой переменной
	Широко применяются модели с детерминированной независимой количественной переменной t. Для зависимой количественной переменной x случайность вводится с помощью равенств xi = аti + b + ei, в правой части которых стоят случайные погрешности (отклонения, невязки) e1, e2, ... , en. Отличительная черта этого типа моделей состоит в том, что независимая переменная является детерминированной, а зависимая - случайной.
	В базовой модели случайные величины e1, e2, ... , en. предполагаются независимыми и одинаково распределенными. Каково их общее распределение? В устаревших литературных источниках часто принимают, что их распределение является нормальным (гауссовским). Однако хорошо известно, что практически все распределения реальных данных не являются нормальными [2, 4]. Поэтому согласно новой парадигме прикладной статистики [5] следует считать распределение случайные величины e1, e2, ... , en произвольным, с одним ограничением - для получения предельных распределений оценок параметров и зависимости целесообразно предположить выполнение условий центральной предельной теоремы, конкретно, условия Линдеберга [6].
	Согласно [7] модель восстановления зависимости с независимыми одинаково распределенными случайными погрешностями, имеющими распределения произвольного вида, называется непараметрической. Именно ее следует использовать на практике, поскольку параметрическая модель регрессионного анализа, особенно с нормальными ошибками, не соответствует реальности. Здесь под параметрической моделью понимают модель, в которой распределения погрешностей принадлежат тому или иному параметрическому семейству - подсемейству четырехпараметрического семейства К. Пирсона [8]. Если в описании алгоритма регрессионного анализа используются распределения Стьюдента или Фишера, то необходимо констатировать, что распределения погрешностей предполагаются нормальными, следовательно, алгоритм не соответствует новой парадигме прикладной статистики.
	Отметим, что при непараметрической модели погрешностей сама зависимость является параметрической. Как показано в дальнейшем, есть много вариантов постановки задач непараметрической регрессии.
	Простейшая модель обобщается в двух направлениях - переход от линейной модели к более общему виду зависимости и отказ от независимости и одинаковой распределенности погрешностей. Параметрическая зависимость должна быть линейной по параметрам. Например, типовой является зависимость
xi = a1f1(ti) + a2 f2(ti) + ... + amfm(ti) + ei, i = 1, 2, ... , n, 		(1)
где функции f1(t), f2(t), ... , fm(t) заданы, а параметры a1, a2, ... , am подлежат оценке методом наименьших квадратов. В частном случае, когда fk(t) = tk-1, k = 1, 2, ..., m, зависимость (1) описывается многочленом. Если же зависимость не является линейной по параметрам, то минимизацию в методе наименьших квадратов можно провести лишь численно, а теоретическое изучение свойств оценок встречает сложности.
	Переход от одной независимой переменной к нескольким не представляет методологических сложностей. 
	Много постановок порождает отказ от независимости и одинаковой распределенности погрешностей. Например, дисперсии независимых погрешностей могут зависеть от независимой переменной t, например, линейно. Возникающие в такой постановке проблемы рассмотрены в [9]. Отказ от независимости приводит к более сложным моделям, поскольку зависимость можно моделировать многими способами. Наиболее простой является модель, в которой все пары погрешностей имеют одинаковые коэффициенты корреляции. В рассматриваемой области необходимы новые исследования.

	3. Модели анализа случайных векторов
	Второй основной тип вероятностно-статистических моделей основан на выборке случайных векторов. В таких моделях исходные данные в простейшем случае - двумерные случайные вектора определенные на одном и том же вероятностном пространстве. В базовой модели все эти случайные вектора независимы и одинаково распределены с вектором . В качестве оцениваемой зависимости рассматривают условное математическое ожидание  при условии заданного значения .
	Пусть случайный вектор  имеет плотность p(x, y). Как известно из теории вероятностей, плотность условного распределения  при условии  = x0  имеет вид

Условное математическое ожидание, т.е. регрессионная зависимость y от x, имеет вид

Таким образом, для нахождения оценок регрессионной зависимости достаточно найти оценки совместной плотности распределения вероятности  такие, что 

при . Тогда непараметрическая оценка регрессионной зависимости

при  является состоятельной оценкой регрессии как условного математического ожидания, т.е. 

Общий подход к построению непараметрических оценок плотности распределения вероятностей в пространствах различной природы развит в ряде публикаций (см., например, [2]), крайней по времени является статья [10].
	Таким образом, если выборка  состоит из случайных векторов, то базовая модель восстановления зависимости является двойной непараметрической, т.е. зависимость является непараметрической и распределение двумерного вектора является произвольным. Как уже отмечалось, принимать гипотезу многомерной нормальности нет оснований. В некоторых случаях полезны параметрические модели зависимости, например,
у = b11(x)+ b22(x)+…+bmm(x)+ ey. 				(2)
где функции 1(x), 2(x), ..., m(x) заданы, а параметры b1, b2, ... , bm  подлежат оценке методом наименьших квадратов. В отличие от (1), в правой части (2) все слагаемые - случайные величины.
	Итак, две основные модели основаны на детерминированной независимой переменной и выборке случайных векторов соответственно. Хотя расчетные алгоритмы метода наименьших квадратов во многом совпадают, но интерпретации результатов расчетов могут различаться. Так, об оценке дисперсии независимой переменной можно говорить только в модели на основе выборки случайных векторов, равно как и о коэффициенте детерминации как критерии качества модели. В случае модели на основе детерминированной независимой переменной попытки применять коэффициенте детерминации в качестве критерия качества модели могут привести к грубым ошибкам.

	4. Сглаживание временных рядов
	С формальной точки зрения временные ряды являются частным случаем моделей с детерминированной независимой переменной, в качестве которой рассматривается время t. При этом для зависимой переменной X(t) часто рассматривают аддитивную модель 
X(t) = T(t) + P(t) + R(t),					(3)
где T(t) - тренд, задающий центральную тенденцию, P(t) - периодическая составляющая, R(t) - случайная составляющая. Иногда рассматривают мультипликативную модель X(t) = T(t)P(t)R(t), однако она не имеет самостоятельного значения, поскольку после логарифмирования переходит в модель (3) для логарифмов включенных в модель составляющих.
	Для модели (3) рассматривают различные варианты непараметрики. Например, тренд T(t) может задаваться линейной функцией, а периодическая составляющая P(t) быть произвольной. Методы непараметрического оценивания периодической составляющей для такой модели разработаны в [11].
	От независимости отклонений приходится отказаться при движении от дискретного времени к непрерывному. В пределе отклонения моделируются случайным процессом с непрерывными траекториями. Так поступают при моделировании динамики курсов акций и валют. Математическая теория оценивания в случае непрерывных случайных процессов существенно отличается от таковой в случае выборок погрешностей.

	5. Методы восстановления зависимостей в пространствах общей природы
	Обсудим модели регрессионного анализа в общем виде. Сначала рассмотрим параметрические постановки задач регрессионного анализа (восстановления зависимостей) в пространствах произвольной природы, затем — непараметрические, после чего перейдем к оцениванию нечисловых параметров в классической ситуации, когда отклик и факторы принимают числовые значения.
	Задача аппроксимации зависимости (параметрической регрессии). Пусть X и Y — некоторые пространства. Пусть имеются статистические данные — n пар (xk, yk), где xk  X, yk  Y, k = 1, 2, …, n. Задано параметрическое пространство  произвольной природы и семейство функций g(x,θ): XΘ → Y. Требуется подобрать параметр    так. чтобы g(xk, ) наилучшим образом приближали yk, k = 1, 2, …, n. Пусть fk — последовательность показателей различия в У. При сделанных предположениях параметр  естественно оценивать путем решения экстремальной задачи:
.			(4)
Часто, но не всегда, все fk совпадают. В классической постановке, когда Х = Rk, У = R1, функции fk различны при неравноточных наблюдениях, например, когда число опытов меняется от одной точки х проведения опытов к другой. 
	Если fk(y1, y2) = f(y1, y2) = (y1 – y2)2, то получаем общую постановку метода наименьших квадратов:
.
В рамках детерминированного анализа данных остается единственный теоретический вопрос — о существовании n. Если все участвующие в формулировке задачи (4) функции непрерывны, а минимум берется по бикомпакту, то n существует. Есть и иные условия существования n [12]. 
	При появлении нового наблюдения х в соответствии с методологией восстановления зависимости рекомендуется выбирать оценку соответствующего у по правилу
у* = g(x, n).
Обосновать такую рекомендацию в рамках детерминированного анализа данных невозможно. Это можно сделать только в вероятностной теории, равно как и изучить асимптотическое поведение n, доказать состоятельность этой оценки. 
	Как и в классическом случае, вероятностную теорию целесообразно строить для трех различных постановок. 
	1. Переменная х — детерминированная (например, время), переменная у — случайная, ее распределение зависит от х. 
	2. Совокупность (xk, yk), k = 1, 2, …, n, — выборка из распределения случайного элемента со значениями в Х У.
	3. Имеется детерминированный набор пар (xk0, yk0), k = 1, 2, …, n, результат наблюдения (xk, yk) является случайным элементом, распределение которого зависит от (xk0, yk0). Это — постановка т.н. конфлюэнтного анализа.
	Во всех трех случаях 
,
однако случайность входит в правую часть по-разному в зависимости от постановки, от которой зависит и определение предельной функции f(). 
	Проще всего выглядит f() в случае второй постановки при fk ≡ f:
f() = Mf(g(x1, ), y).
	В случае первой постановки 

в предположении существования указанного предела. Ситуация усложняется для третьей постановки:
.
Во всех трех случаях на основе общих результатов о поведении решений экстремальных статистических задач можно изучить асимптотику оценок n методами нечисловой статистики [12]. При выполнении соответствующих внутриматематических условий регулярности оценки оказываются состоятельными, т.е. удается восстановить зависимость.
	Аппроксимация и регрессия. Соотношение (4) дает решение задачи аппроксимации. Поясним, как эта задача соотносится с нахождением регрессии. Согласно [12] для случайной величины (, ) со значениями в Х  У регрессией  на  относительно меры близости f естественно назвать решение задачи 
Mf(g(), ) →				(5)
где f: YY → R1, g: X → Y, минимум берется по множеству всех измеримых функций. 
	Можно исходить и из формально другого определения. Для каждого х  Х рассмотрим случайную величину (х), распределение которой является условным распределением  при условии  = х. В соответствии с определением математического ожидания в пространстве общей природы назовем условным математическим ожиданием решение экстремальной задачи

Оказывается, при обычных предположениях измеримости решение задачи (5) совпадает с  (Внутриматематические уточнения типа «равенство имеет место почти всюду» здесь опущены.) 
	Если заранее известно, что условное математическое ожидание  принадлежит некоторому параметрическому семейству g(x, ), то задача нахождения регрессии сводится к оцениванию параметра  в соответствии с рассмотренной выше второй постановкой вероятностной теории параметрической регрессии. 
	Если же нет оснований считать, что регрессия принадлежит некоторому параметрическому семейству, можно использовать непараметрические оценки регрессии. Они строятся с помощью непараметрических оценок плотности [2, 10].
	Непараметрические методы восстановления зависимости. Пусть 1 — мера в Х, 2 — мера в У, а их прямое произведение  = 1  2 — мера в Х  У. Пусть g(x, y) — плотность случайного элемента (, ) по мере . Тогда условная плотность g(y|x) распределения  при условии  = х имеет вид
				(6)
(в предположении, что интеграл в знаменателе отличен от 0). Следовательно,

а потому

Заменяя g(x,y) в (6) непараметрической оценкой плотности gn(x,y), получаем оценку условной плотности
.				(7)
Если gn(x,y) — состоятельная оценка g(x,y), то числитель (7) сходится к числителю (6). Сходимость знаменателя (7) к знаменателю (6) обосновывается с помощью предельной теории статистик интегрального типа [12]. В итоге получаем утверждение о состоятельности непараметрической оценки (7) условной плотности (6). 
	Непараметрическая оценка регрессии ищется как

Состоятельность этой оценки следует из приведенных выше общих результатов об асимптотическом поведении решений экстремальных статистических задач. 

	6. Оценивание объектов нечисловой природы в классических постановках регрессионного анализа
	Нечисловая статистика тесно связана с классическими областями прикладной статистики. Ряд трудностей в классических постановках удается понять и разрешить лишь с помощью общих результатов прикладной статистики. В частности, это касается оценивания параметров, когда параметр имеет нечисловую природу.
	Рассмотрим типовую прикладную постановку задачи восстановления регрессионной зависимости, линейной по параметрам. Исходные данные имеют вид . Цель состоит в том, чтобы с достаточной точностью описать y как многочлен (полином) от x, т.е. модель имеет вид
				(8)
где m — неизвестная степень полинома; a0, a1, a2, …, am — неизвестные коэффициенты многочлена; , — погрешности, которые для простоты примем независимыми и имеющими одно и то же нормальное распределение с нулевым математическим ожиданием и дисперсией 2.
	В прикладной статистике часто используют следующую технологию анализа данных. Сначала пытаются применить модель (8) для линейной функции (m = 1), при неудаче (неадекватности модели) переходят к многочлену второго порядка (m = 2), если снова неудача, то берут модель (8) с m = 3 и т.д. Адекватность модели обычно проверяют по F-критерию Фишера, основанному на предположении нормальности погрешностей.
	Обсудим свойства этой процедуры. Если степень полинома задана (m = m0), то его коэффициенты оценивают методом наименьших квадратов, свойства этих оценок хорошо известны. Однако в рассматриваемой постановке m тоже является неизвестным параметром и подлежит оценке. Таким образом, требуется оценить объект (m, a0, a1, a2, …, am), множество значений которого можно описать как . Это — объект нечисловой природы, обычные методы оценивания для него неприменимы. Разработанные к настоящему времени методы оценивания степени полинома носят в основном эвристический характер (см., например, гл. 12 монографии [13]). Рассмотрим некоторые из них.
	Замечание. Здесь наглядно проявляется одна из причин живучести вероятностно-статистических моделей на основе нормального распределения. Такие модели, как правило, неадекватны реальной ситуации, о чем сказано выше. Однако с математической точки зрения они позволяют глубже проникнуть в суть изучаемого явления. Поэтому такие модели полезны для первоначального анализа ситуации. В ходе дальнейших исследований необходимо снять нереалистическое предположение нормальности и перейти к непараметрическим моделям. 
	Оценивание степени полинома. Полезно рассмотреть основной показатель качества регрессионной модели (8). Одни и те же данные можно обрабатывать различными способами. На первый взгляд, показателем отклонений данных от модели может служить остаточная сумма квадратов SS. Чем этот показатель меньше, тем приближение лучше, значит, и модель лучше описывает реальные данные. Однако это рассуждение годится только для моделей с одинаковым числом параметров. Ведь если добавляется новый параметр, по которому можно минимизировать, то и минимум, как правило, оказывается меньше.
	В качестве основного показателя качества регрессионной модели используют следующую оценку остаточной дисперсии 
.
Таким образом, вводят корректировку на число параметров, оцениваемых по наблюдаемым данным. Корректировка состоит в уменьшении знаменателя на указанное число. В модели (8) это число равно (m + 1). В случае задачи восстановления линейной функции одной переменной оценка остаточной дисперсии имеет вид

поскольку число оцениваемых параметров m + 1 = 2. 
	Еще раз — почему при подборе вида модели знаменатель дроби, оценивающей остаточную дисперсию, приходится корректировать на число параметров? Если этого не делать, то придется заключить, что всегда многочлен второй степени лучше соответствует данным, чем линейная функция, многочлен третьей степени лучше приближает исходные данные, чем многочлен второй степени, и т.д. В конце концов доходим до многочлена степени (n – 1) с n коэффициентами, который проходит через все заданные точки. Но его прогностические возможности, скорее всего, существенно меньше, чем даже у линейной функции. Излишнее усложнение статистических моделей вредно.
	Типовое поведение скорректированной оценки остаточной дисперсии

в случае расширяющейся системы моделей (т.е. при возрастании натурального параметра m) выглядит так. Сначала наблюдаем заметное убывание. Затем оценка остаточной дисперсии колеблется около некоторой константы (дисперсии погрешности).
	Поясним ситуацию на примере модели восстановления зависимости, выраженной многочленом:

Пусть эта модель справедлива при  При  в скорректированной оценке остаточной дисперсии учитываются не только погрешности измерений, но и соответствующие (старшие) члены многочлена (предполагаем, что коэффициенты при них отличны от 0). При  имеем

Следовательно, скорректированная оценка остаточной дисперсии будет колебаться около указанного предела. Поэтому представляется естественным, что в качестве оценки неизвестной статистику степени многочлена (полинома) можно использовать первый локальный минимум скорректированной оценки остаточной дисперсии, т.е.

В работе [14] найдено предельное распределение этой оценки степени многочлена.
	Теорема. При справедливости некоторых условий регулярности

где

	Таким образом, предельное распределение оценки m* степени многочлена (полинома) является геометрическим. Это означает, в частности, что оценка не является состоятельной. При этом вероятность получить меньшее значение, чем истинное, исчезающе мала. Далее имеем:

	Разработаны и иные методы оценивания неизвестной степени многочлена, например, путем многократного применения процедуры проверки адекватности регрессионной зависимости с помощью критерия Фишера. Предельное поведение таких оценок — таково же, как в приведенной выше теореме, только значение параметра  иное. Для степени многочлена давно предложены состоятельные оценки [15]. Для этого достаточно уровень значимости (при проверке адекватности регрессионной зависимости с помощью критерия Фишера) сделать убывающим при росте объема выборки.
	Построение информативного подмножества признаков. В более общем случае многомерной линейной регрессии данные имеют вид (yi, Xi), i = 1, 2, …, n, где Xi = (xi1, xi2, …, xiN)  RN — вектор предикторов (факторов, объясняющих переменных), а модель такова:
				(9)
(здесь K — некоторое подмножество множества {1, 2, …, n}; i — те же, что и в модели (8); aj — неизвестные коэффициенты при предикторах с номерами из K). Множество К называют информативным подмножеством признаков, поскольку согласно формуле (9) остальные признаки можно отбросить без потери информации. Проблема состоит в том, что при анализе реальных данных неизвестно, какие признаки входят в К, а какие нет. Ясна важность оценивания информативного подмножества признаков.
	Модель (85) сводится к модели (9), если
xi1 = 1, xi2 = xi, 
В модели (8) есть естественный порядок ввода предикторов в рассмотрение — в соответствии с возрастанием степени многочлена, а в модели (9) естественного порядка нет, поэтому здесь приходится рассматривать произвольное подмножество множества предикторов. Есть только частичный порядок — чем мощность подмножества меньше, тем лучше. Модель (9) особенно актуальна в технических исследованиях (см. многочисленные примеры в нашем журнале «Заводская лаборатория. Диагностика материалов»). Она применяется в задачах управления качеством продукции и других технико-экономических исследованиях, в медицине, экономике, маркетинге и социологии, когда из большого числа факторов, предположительно влияющих на изучаемую переменную, надо отобрать по возможности наименьшее число значимых факторов и с их помощью сконструировать прогнозирующую формулу (9).
	Задача оценивания модели (9) разбивается на две последовательные задачи: оценивание множества K — подмножества множества всех предикторов, а затем — неизвестных параметров aj. Методы решения второй задачи хорошо известны и подробно изучены (обычно используют метод наименьших квадратов). Гораздо хуже обстоит дело с оцениванием объекта нечисловой природы K. Существующие методы — в основном эвристические, они зачастую не являются даже состоятельными. Даже само понятие состоятельности в данном случае требует специального определения. 
	Определение. Пусть K0 — истинное подмножество предикторов, т.е. подмножество, для которого справедлива модель (9), а подмножество предикторов Kn — его оценка. Оценка Kn называется состоятельной, если
,
где  — символ симметрической разности множеств; Card(K) означает число элементов множества K, а предел понимается в смысле сходимости по вероятности.
	Задача оценивания в моделях регрессии, таким образом, разбивается на две — оценивание структуры модели и оценивание параметров при заданной структуре. В модели (8) структура описывается неотрицательным целым числом m, в модели (9) — множеством K. Структура — объект нечисловой природы. Задача ее оценивания сложна, в то время как задача оценивания численных параметров при заданной структуре хорошо изучена, разработаны эффективные (в смысле прикладной математической статистики) методы.
	Такова же ситуация и в других методах многомерного статистического анализа — в факторном анализе (включая метод главных компонент) и в многомерном шкалировании, в иных оптимизационных постановках проблем прикладного многомерного статистического анализа. 
	Множество K и параметры aj линейной зависимости можно оценивать путем решения задачи оптимизации
				(10)
в которой минимум берется по K, aj, j  K. Математическая природа множества, по которому проводится минимизация, весьма сложна. Это и объясняет тот факт, что к настоящему времени разработано много эвристических методов оценивания информативного множества параметров К, свойства которых плохо изучены. На основе общих результатов нечисловой статистики об асимптотическом поведении решений экстремальных статистических задач удалось показать, что оценки, полученные путем решения задачи (7), являются состоятельными [16].
	Эффект "вздувания коэффициентов корреляции". В настоящее время весьма популярны методы поиска «наиболее информативного множества признаков» в регрессионном и дискриминантном анализе. Соответствующие алгоритмы, как правило, основаны на переборе большого числа наборов признаков. Как правило, при этом игнорируют эффект "вздувания коэффициентов корреляции". Это явление обнаружил А.Н. Колмогоров в 1933 г. [17]. Предположим, что имеется много наборов предикторов (факторов, признаков). Для каждого из них строится наилучшее приближение отклика с помощью линейной функции от предикторов. Показателем качества приближения служит коэффициент корреляции между откликом и наилучшей линейной функцией от предикторов (в настоящее время чаще используют его квадрат, называемый коэффициентом детерминации). Эффект «вздувания» коэффициента корреляции состоит в том, что при увеличении числа проанализированных наборов предикторов заметно растет максимальный из соответствующих коэффициентов корреляции - показателей качества приближения. Создается впечатление, что тот набор предикторов, на котором достигается рассматриваемый максимум, дает хорошее приближение для отклика. Однако это впечатление развеивается при попытке использовать соответствующую зависимость для прогноза – по новым данным коэффициент корреляции между откликом и ранее найденной линейной функцией от предикторов оказывается значительно меньшим. 
	Как отмечено в [16], актуальность работы А.Н. Колмогорова [17] в настоящее время существенно повысилась. Эффект «вздувания» коэффициента корреляции является одним из проявлений неклассического поведения статистических характеристик в ситуации, когда одна и та же статистическая процедура осуществляется многократно, например, при множественных проверках статистических гипотез [18].

	7. Регрессионный анализ интервальных данных
	Иногда рассматривают модели, в которых как входная, так и выходная переменные имеют погрешности, определяемые значениями этих переменных. В простейшем случае вместо "истинных" данных (ti, xi), i = 1, 2, ..., n, наблюдают данные с погрешностями (qi, yi), i = 1, 2, ..., n. где qi, = ti + , yi = xi + . Здесь  и  - погрешности измерений (наблюдений, регистрации, опытов, анализов). Требуется восстановить зависимость между "истинными" переменными t и x.
	Есть несколько подходов к решению. этой задачи. Если заданы ограничения на значения погрешностей, наложенных на случайные величины, то плодотворен подход статистики интервальных данных [19]. Восстановлению линейной зависимости в соответствии с подходом статистики интервальных данных посвящена статья [20]. Подробному изложению статистики интервальных данных посвящены развернутые главы в монографиях [2, 12, 21, 22].
	Подход А.П. Вощинина, Н.В Скибицкого и их сподвижников исходит непосредственно из анализа интервальных данных, без использования вероятностно-статистических моделей. Этот подход отражен, например, в работах [23 - 28].
	Уходит в прошлое подход т.н. конфлюэнтного анализа, согласно которому погрешности измерений  и  имеют нормальные распределения. Поскольку, как уже отмечалось, распределения практически всех реальных величин не являются нормальными, конфлюэнтный анализ не является адекватным реальным ситуациям и потому не имеет практических перспектив. Точно также распределения Стьюдента и Фишера не адекватны реальности и могут иметь лишь теоретическое значение. Вместе с тем отметим, что, например, неизвестен непараметрический аналог критерия Фишера, предназначенного для  проверки адекватности регрессионной модели (скажем, для проверки адекватности линейной модели, когда альтернативой является квадратическая).

	8. Заключительные замечания
	Анализ многообразия моделей регрессионного анализа приводит к выводу, что не существует единой "стандартной модели". В каждом конкретном случае необходимо описывать используемую модель и обосновывать ее.
	Исследования в рассматриваемой области прикладной статистики ведутся активно, но много задач всё еще требует решения. Некоторые такие задачи отмечены выше. Например, разработанные в ХХ в. модели и методы, основанные на предположении нормальности, требуют осмысления и доработки (как теоретической, так и алгоритмической) с позиций непараметрической статистики.
	Из сказанного следует, что определение понятия "регрессионный анализ" и его содержание целесообразно обсудить подробно на страницах нашего журнала. Критический разбор устоявшихся взглядов необходим для квалифицированного развития и применения математических методов исследования, в частности, для перехода на современную парадигму прикладной статистики [5].

Литература
	1. Орлов А.И. Первый Всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли // Заводская лаборатория. Диагностика материалов. 1987. Т.53. №3. С.90-91.
	2. Орлов А.И. Прикладная статистика. - М,: Экзамен, 2006. - 671 с.
	3. Тырсин А.Н., Максимов К.Е. Оценивание линейных регрессионных уравнений с помощью метода наименьших модулей // Заводская лаборатория. Диагностика материалов. 2012. Том 78. № 7. С. 65-71.
	4. Орлов А.И. Часто ли распределение результатов наблюдений является нормальным? // Заводская лаборатория. Диагностика материалов. 1991. Т.57. №7. С.64-66.
	5. Орлов А.И. Новая парадигма прикладной статистики // Заводская лаборатория. Диагностика материалов. 2012. Том 78. №1, часть I. С.87-93.
	6. Гнеденко Б.В. Курс теории вероятностей. 8-е изд., испр. и доп.—М.: Едиториал УРСС, 2005.— 448 с.
	7. Орлов А.И. Структура непараметрической статистики (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 2015. Т.81. №7. С. 62-72.
	8. Королюк В.С., Портенко Н.И., Скороход А.В., Турбин А.Ф. Справочник по теории вероятностей и математической статистике. — М.: Наука, 1985. — 640 с.
	9. Копаев Б.В. В методе наименьших квадратов надо заменить абсолютные отклонения относительными // Заводская лаборатория. Диагностика материалов. 2012. Том 78. № 7. С. 76-76.
	10. Орлов А.И. Асимптотика оценок плотности распределения вероятностей // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2017. № 131. С. 845 – 873.
	11. Орлов А.И. Непараметрический метод наименьших квадратов с периодической составляющей // Заводская лаборатория. Диагностика материалов.  2014. Т.80. №1. С.65-75.
	12. Орлов А.И. Организационно-экономическое моделирование: учебник: в 3 ч. Ч.1: Нечисловая статистика. — М.: Изд-во МГТУ им. Н. Э. Баумана, 2009. — 542 с.
	13. Себер Дж. Линейный регрессионный анализ. — М.: Мир, 1980. — 456 с.
	14. Орлов А.И. Асимптотика некоторых оценок размерности модели в регрессии // Прикладная статистика. Ученые записки по статистике. Т. 45. — М.: Наука, 1983. С. 260–265.
	15. Орлов А.И. Об оценивании регрессионного полинома // Заводская лаборатория. Диагностика материалов. 1994. Т.60. №5. С. 43-47.
	16. Орлов А.И. Методы поиска наиболее информативных множеств признаков в регрессионном анализе // Заводская лаборатория. Диагностика материалов. 1995. Т.61. №1. С.56-58.
	17. Колмогоров А.Н. К вопросу о пригодности найденных статистическим путем формул прогноза // Журнал геофизики. 1933. Т.3 С. 78-82; Колмогоров А.Н. Теория вероятностей и математическая статистика. – М.: Наука, 1986. - С. 161-167. 
	18. Орлов А.И. Проблема множественных проверок статистических гипотез // Заводская лаборатория. Диагностика материалов. 1996. Т.62. № 5. С. 51-54.
	19. Орлов А.И. Статистика интервальных данных (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 2015. Т.81. №3. С. 61 - 69.
	20. Гуськова Е.А., Орлов А.И. Интервальная линейная парная регрессия (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 2005. Т.71. №3. С.57-63.
	21. Орлов А.И. Теория принятия решений. — М.: Экзамен, 2006. — 576 с. 
	22. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. – Краснодар, КубГАУ. 2014. – 600 с. 
	23. Вощинин А.П. Метод анализа данных с интервальными ошибками в задачах проверки гипотез и оценивания параметров неявных линейно параметризованных функций // Заводская лаборатория. Диагностика материалов. 2000. Т.66. №3. С.51-64.
51-64
	24. Вощинин А. П. Интервальный анализ данных: развитие и перспективы // Заводская лаборатория. Диагностика материалов. 2002. Т.68. №1. С. 118-125.
	25. Вощинин А.П., Скибицкий Н.В. Интервальный подход к выражению неопределенности измерений и калибровке цифровых измерительных систем // Заводская лаборатория. Диагностика материалов. 2007. Т.73. №11. С. 68-71.
	26. Скибицкий Н.В., Севальнев Н.В. Интервальные модели в задачах оптимального управления с дифференциальными связями // Заводская лаборатория. Диагностика материалов. 2015. Т.81. № 11. С. 73-80.
	27. Скибицкий Н.В. Применение статистического подхода к построению прямых и обратных характеристик объектов // Заводская лаборатория. Диагностика материалов. 2016. Т.82. №11. С. 67-75.
	28. Скибицкий Н.В. Построение прямых и обратных статических характеристик объектов по интервальным данным // Заводская лаборатория. Диагностика материалов. 2017. Т.83. №1. Ч.1. С. 87-93.